Prise de décision en temps-réel pour des POMDP de grande taille

RÉSUMÉ. Cet article présente une méthode d’approximation pour les processus décisionnels de Markov partiellement observables (POMDP) qui est basée sur une recherche en profondeur pour la planification dans un environnement temps-réel dynamique. L’idée de base de notre approche, appelée RTBSS (Real-Time Belief Space Search), est d’éviter de calculer des politiques complètes pour des POMDPs. Cette approche est spécialement utile pour des environnements temps-réel où l’espace d’états est trop grand pour que l’on puisse considérer les algorithmes de résolution hors-lignes des POMDPs. À cet effet, nous proposons une approche en-ligne pour calculer à chaque cycle, l’action qui maximise l’utilité espérée de l’agent. Nous commençons par présenter tout le formalisme à la base de notre méthode. Par la suite, nous présentons les résultats expérimentaux obtenus sur trois environnements : les environnements Tag et RockSample ainsi que la simulation de la RoboCupRescue. Les résultats obtenus montrent la force de notre approche, particulièrement en ce qui concerne la rapidité d’exécution et l’adaptabilité à de nouveaux environnements. Mentionnons par ailleurs que cette approche a été implémentée avec succès pour la compétition mondiale de la RoboCupRescue en 2004 à Lisbonne au Portugal où nous nous sommes classés en deuxième position.